公开了用于使图像中的边缘平滑以去除不规则的系统、方法和装置。在本公开内容的一个方面,一种图像处理方法包括:标识图像中的边缘,所述边缘具有相关联的一组边缘特性;确定相关联的一组边缘特性;以及基于相关联的一组边缘特性将低通滤波器施加到边缘的像素以基于图像生成第二图像,其中在第二图像中图像中的边缘被平滑。该方法还包括生成第三图像,该第三图像是原始图像和第二(经边缘平滑的)图像基于相关联的一组边缘特性的混合。
1.一种图像处理的方法,包括:将最初的低通滤波器施加到第一图像以在边缘平滑之前减少噪声和高频变化;标识所述第一图像中的边缘,所述边缘具有相关联的一组边缘特性,所述相关联的一组边缘特性包括边缘的梯度大小和边缘的边缘方向;确定所述梯度大小;确定所述边缘方向;将置信水平分配给位于所述边缘上的多个像素中的每一个,所述置信水平对应于所检测的边缘方向的精确度;将面元方向分配给所述边缘方向;沿所述面元方向将低通滤波器定向地施加到所述边缘的像素以基于所述第一图像生成第二图像,其中在第二图像中所述第一图像中的边缘被平滑;以及基于所述第二图像和所述第一图像生成第三图像,其中所述第三图像是通过混合具有平滑边缘的第二图像的一部分和所述第一图像的一部分来生成的,其中用于混合所述第二图像和所述第一图像的乘数是关于所述边缘方向的像素置信水平和所述边缘的梯度大小与基于动态范围的大小阈值的比较的产物。
2.如权利要求1所述的方法,其特征在于,所述边缘的梯度大小与所述阈值的比较包括确定所述边缘的梯度大小是超过还是等于所述阈值,其中基于所述第一图像预定区域中的一组像素值动态确定阈值。
3.如权利要求1所述的方法,其特征在于,还包括:基于所述相关联的一组边缘特性确定边缘中一组不规则的存在;以及去除所述一组不规则中的一个或多个不规则。
4.如权利要求1所述的方法,其特征在于,所述最初的低通滤波器是高斯滤波器。
5.如权利要求1所述的方法,其特征在于,所述最初的低通滤波器的一组滤波器参数基于所述第一图像的图像特性可调节。
6.一种图像处理的方法,包括:标识第一图像中的边缘,所述边缘具有相关联的一组边缘特性;确定相关联的一组边缘特性,包括确定所述边缘的方向;将置信水平分配给位于所述边缘上的多个像素中的每一个,所述置信水平对应于所检测的边缘方向的精确度;将面元方向分配给所确定的所述边缘的方向;基于所述相关联的一组边缘特性将低通滤波器定向地施加到边缘的像素以基于所述第一图像生成第二图像,其中在所述第二图像中所述第一图像中的边缘被平滑,其中所述低通滤器沿所述面元方向被施加以平滑所述边缘;以及基于所述第二图像和所述第一图像生成第三图像,其中所述第三图像是通过混合具有平滑边缘的第二图像的一部分和所述第一图像的一部分来生成的;其中用于混合所述第二图像和所述第一图像的乘数是关于所述边缘方向的像素置信水平和所述边缘的梯度大小与基于动态范围的大小阈值的比较的产物。
7.如权利要求6所述的方法,其特征在于,还包括:任选地将最初的低通滤波器施加到所述第一图像以在标识所述第一图像中的边缘之前减少噪声和高频变化。
8.如权利要求6所述的方法,其特征在于,所述相关联的一组边缘特性的确定包括:从边缘的水平梯度和垂直梯度确定边缘的梯度大小。
9.如权利要求6所述的方法,其特征在于,基于所述第一图像的预定区域中的一组像素值动态确定所述阈值。
10.如权利要求6所述的方法,其特征在于,还包括:基于所述相关联的一组边缘特性确定边缘中一组不规则的存在;以及去除所述一组不规则中的一个或多个不规则。
11.如权利要求10所述的方法,其特征在于,所述一组不规则的存在是通过将边缘上的特定像素的梯度大小与相邻像素进行比较来检测的。
12.一种图像处理的系统,包括:耦合到存储器的存储器控制器,其中所述存储器控制器控制对存储器的访问;耦合到所述存储器的图像处理器,其中所述图像处理器执行算法,所述算法标识第一图像中的边缘;确定所述边缘的梯度大小;确定所述边缘的边缘方向;将置信水平分配给位于所述边缘上的多个像素中的每一个,所述置信水平对应于所检测的边缘方向的精确度;将面元方向分配给所述边缘方向;基于所述边缘方向将低通滤波器定向地施加到边缘的像素以基于所述图像生成第二图像,其中在所述第二图像中所述第一图像中的边缘被平滑;以及基于所述第二图像和所述第一图像生成第三图像,其中所述第三图像是通过混合具有平滑边缘的第二图像的一部分和所述第一图像的一部分来生成的;其中用于混合所述第二图像和所述第一图像的乘数是关于所述边缘方向的像素置信水平和所述边缘的梯度大小与基于动态范围的大小阈值的比较的产物。
13.如权利要求12所述的系统,其特征在于,所述图像处理器还包括视频处理器。
14.如权利要求12所述的系统,其特征在于,还包括耦合到存储器控制器和所述图像处理器的主接口;其中所述主接口从所述图像处理器接收访问所述存储器的请求。
15.如权利要求14所述的系统,其特征在于,所述图像处理器还包括耦合到所述存储器的视频捕捉模块。
16.如权利要求12所述的系统,其特征在于,所述系统是机顶盒。
17.如权利要求12所述的系统,其特征在于,所述系统是蓝光播放器。
18.如权利要求12所述的系统,其特征在于,所述系统是DVD播放器。
19.如权利要求14所述的系统,其特征在于,所述图像处理器还包括耦合到所述存储器的视频显示控制器。
20.一种光盘装置,包括:光盘读取器,其中,在操作时读取光盘;耦合到所述光盘读取器的解码器;耦合到所述光盘读取器的存储器;以及耦合到所述存储器的图像处理器,其中所述图像处理器执行算法,所述算法标识第一图像中的边缘;确定所述边缘的梯度大小;确定所述边缘的边缘方向;将置信水平分配给位于所述边缘上的多个像素中的每一个,所述置信水平对应于所检测的边缘方向的精确度;将面元方向分配给所述边缘方向;沿基于所述边缘方向的所述面元方向将低通滤波器施加到边缘的像素以基于所述第一图像生成第二图像,其中在所述第二图像中所述第一图像中的边缘被平滑;以及基于所述第二图像和所述第一图像生成第三图像,其中所述第三图像是通过混合具有平滑边缘的第二图像的一部分和所述第一图像的一部分来生成的;其中用于混合所述第二图像和所述第一图像的乘数是关于所述边缘方向的像素置信水平和所述边缘的梯度大小与基于动态范围的大小阈值的比较的产物。
21.如权利要求20所述的装置,其特征在于,所述光盘读取器是蓝光盘读取器。
22.如权利要求20所述的装置,其特征在于,所述光盘读取器是DVD读取器。
23.如权利要求20所述的装置,其特征在于,所述光盘读取器是HD-DVD读取器。
24.一种用于图像处理的系统,包括:用于将最初的低通滤波器施加到第一图像以在边缘平滑之前减少噪声和高频变化的装置;用于标识所述第一图像中的边缘的装置,所述边缘具有相关联的一组边缘特性,所述相关联的一组边缘特性包括边缘的梯度大小和边缘的边缘方向;用于确定所述梯度大小的装置;用于确定所述边缘方向的装置;用于将置信水平分配给位于所述边缘上的多个像素中的每一个像素的装置,所述置信水平对应于所检测的边缘方向的精确度;用于将面元方向分配给所述边缘方向的装置;用于沿所述面元方向将低通滤波器定向地施加到所述边缘的像素以基于所述第一图像生成第二图像的装置,其中在第二图像中所述第一图像中的边缘被平滑;以及用于基于所述第二图像和所述第一图像生成第三图像的装置,其中所述第三图像是通过混合具有平滑边缘的第二图像的一部分和所述第一图像的一部分来生成的;其中用于混合所述第二图像和所述第一图像的乘数是关于所述边缘方向的像素置信水平和所述边缘的梯度大小与基于动态范围的大小阈值的比较的产物。相关申请的交叉引用本申请要求2008年9月4日提交的美国专利申请No.12/204,760的优先权,其通过引用完全结合于此。
背景技术
人类视觉系统对图像中(例如,数字图像、物理图像、数字画面、物理画面或视频帧)对象的边缘高度灵敏。因此,诸如物理或电子图像中存在的粗糙、锯齿状或阶梯状边缘(如很多类型的数字处理内容的情形)之类的边缘中的不规则往往是明显的并且可能令人讨厌。这种不规则边缘可能出现在图像中存在多种原因,包括来自数字压缩的伪像、质量低劣的去隔行、图像的数字采样中的分辨率限制。此外,低分辨率图像向较高分辨率的转换常常会导致原始图像的分辨率限制,可被看作成比例图像中的不规则边缘。附图简述图1描绘根据一个实施例示出具有视频源的家庭娱乐系统的框图。图2描绘根据一个实施例示出具有耦合到视频源的视频中枢的家庭娱乐系统的框图。图3描绘根据一个实施例具有边缘平滑能力的光盘装置的框图。图4描绘根据一个实施例具有边缘平滑能力的系统的框图。图5描绘根据一个实施例具有边缘平滑能力的图像处理器的框图。图6A是根据一个实施例如何确定梯度大小阈值的图示。图6B是根据一个实施例如何确定经阈值大小处理的梯度的图示。图6C描绘根据一个实施例位于所检测的边缘附近的图像像素和多个面元(bin)的图形表示。图7描绘根据一个实施例示出在图像中执行边缘平滑的示例过程的流程图。图8描绘根据一个实施例示出去除所检测的边缘中的不规则的示例过程的流程图。图9描绘根据一个实施例示出基于动态确定的梯度大小阈值确定像素是否位于边缘上的示例过程的流程图。
具体实施方式
以下的描述和附图是说明性的且不应理解为限制。描述了很多特定细节以提供对本公开内容的透彻理解。然而,在某些实例中,没有描述公知或常规细节以免混淆本说明。对本公开内容中一个或一实施例的参考可以但不一定是对同一实施例的参考;且这种参考表示实施例中的至少一个。本说明书中,对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包含于本公开内容的至少一个实施例中。在说明书中各处出现的短语“在一个实施例中”不一定全部都指代同一实施例,且单独或供选择的实施例也不是相互排斥的其它实施例。此外,描述了可由一些实施例展示而不由其它实施例展示的各种特征。类似地,描述了可以是一些实施例的要求而不是其它实施例的要求的各种要求。本说明书中使用的术语在本领域中、本公开内容的上下文中以及使用各术语的特定上下文中一般具有其通常含义。以下或在说明书的其它位置讨论用于描述本公开内容的某些术语,以向与本公开的描述有关的实践者提供附加的指导。为了方便,可突出显示某些术语,例如使用斜体字和/或引号。使用突出对术语的范围和含义没有影响;在相同的背景下,不管是否突出,术语的范围和含义均是相同的。应当理解能以一种以上的方式描述相同的事件。因此,供选择的语言和同义词可用于本文讨论的任一个或多个术语,在本文中是否详细阐述或讨论术语也不会施加任何特殊的意义。提供某些术语的同义词。一个或多个同义词的叙述不排除使用其它同义词。包括本文讨论的任意术语的示例的本说明书中任意其它位置的示例的使用仅仅是说明性的,且不旨在进一步限制本公开内容或任意例示术语的范围和含义。同样,本公开内容不限于本说明书中给出的各实施例。在不打算进一步限制本公开内容的范围的情况下,以下给出根据本公开内容的实施例的仪器、装置、方法及其相关结果的示例。注意,为了方便阅读者在示例中可使用标题和子标题,这决不会限制本公开内容的范围。除非另外定义,否则本文使用的所有技术和科学术语的意思与本公开内容所属领域的普通技术人员所共知的一样。如果发生冲突,以包括定义的本文件为准。本发明的实施例包括在数字图像和数字视频中用于边缘检测和边缘平滑的系统、方法和装置。图像中的不规则边缘在具有小分辨率的压缩内容(例如,基于网页的图像、视频内容、流内容等)中普遍存在。例如,数字图像和/或数字视频被频繁压缩以节约盘空间和/或减少传输时间。因此,数字图像或视频帧常常具有有限分辨率且对于人眼呈现低质量。不同的视频格式具有不同的分辨率,且诸如HDxa0DVD和蓝光之类的高分辨率格式具有显著高于诸如DVD、VCD、VHS带等较老格式的分辨率。尽管高清晰度源的分辨率通常与当今的数字显示设备直接兼容,然而必须将较低分辨率图像和格式成比例放大以符合较大的显示屏幕。当这样做时,图像中的边缘被放大且这些边缘的较低分辨率对于人眼变得明显。支持变化格式的显示器、媒体播放器和光盘读取器之间的交叉兼容性要求通常将较低分辨率格式成比例缩放至不同分辨率,导致经成比例缩放图像和/或视频中粗糙或不规则边缘的出现。本公开内容的实施例包括用于检测图像或视频帧中的边缘的方法,尤其是出于减少或去除观看带有粗糙、锯齿状或其它不规则边缘的图像和/或视频的视觉不愉快的目的。可经由任意已知、方便的方式或其任意修改来检测该边缘。通常还经由任意已知、方便的方式或其任意修改检测边缘的强度(例如,由梯度大小所指示的)和方向。例如,如果已经利用图像梯度检测边缘,则通过计算梯度大小来确定边缘的强度,并且可通过使用梯度的垂直和水平分量来计算边缘角的正切从而确定边缘的方向。在一个实施例中,当沿边缘的方向施加定向低通滤波器时可去除边缘中可能存在的不规则,由此改进图像的整体外观。在一些实例中,可执行附加处理以生成进一步优化的图像。可从与所检测的边缘的“精确度”有关的跟踪量化数据生成这种进一步优化的图像,所检测的边缘的“精确度”基于梯度大小和边缘方向确定来描绘边缘的“强度”。例如,进一步优化的图像或视频帧可以是原始源和经平滑的源的智能组合,使得从经平滑的源获取具有更多确定性边缘的原始内容部分,其中从原始源获取具有较少确定性边缘的原始内容部分。可从与所检测的边缘的“精确度”有关的跟踪量化数据生成这种进一步优化的图像,所检测的边缘的“精确度”基于梯度大小指示边缘的“强度”并且基于边缘方向确定指示边缘角的“一致性”。本公开内容的实施例适用于为了回放或处理目的而接收、生成或修改视频内容的任意类型的设备。该设备可以是任意类型的媒体播放器、显示设备、便携视频播放器(例如,iPOD、iPhone、iPODxa0dock、便携DVD播放器等)、蜂窝电话、台式计算机、膝上型计算机、黑莓等。所接收的视频或图像内容可来自各种源而不背离公开内容的新颖方面,包括但不限于因特网内容(例如,流传输或下载)、本地存储的内容、存储在远程设备上的内容和/或存储在可读介质(例如,磁或光介质等)上的内容。图1描绘根据一个实施例示出具有耦合到视频源104A-B的显示单元102的系统100的框图。系统100包括耦合到多个视频源104A-B(例如,音频/视频源,诸如包括但不限于X-box、PlayStation的游戏控制台、包括但不限于VCR的媒体读取器、包括但不限于CD播放器、DVD播放器、蓝光播放器、HD-DVD播放器的光盘装置、以及类似的A/V源)的显示单元102(例如,电视机、等离子体显示器、CRT显示器、LCD显示器、LED显示器以及类似的显示单元)。在一个实施例中,视频源104A-B具有图像和/或视频边缘检测以及平滑边缘以去除可能存在的任何可能的不规则的能力。具有经平滑边缘的图像/视频提高了显示单元102上显示的数字多媒体的视觉外观。类似地,显示单元102可具有使图像或视频内容中的边缘平滑的能力。由于媒体内容、光盘和视频源104A-B(例如,读取/解码媒体内容的硬件)或上述的组合的固有限制,可能存在不规则边缘。图2描绘根据一个实施例示出具有耦合到视频源204A-B的视频中枢250的系统200的框图。示例系统200包括视频源204A-B、显示单元202以及视频中枢250。视频源204A-B可经由HDMI连接器、模拟视频连接器和/或模拟音频连接器耦合到视频中枢250。视频中枢250的输出可经由HDMI端口(例如,视频HDMI)或模拟连接器耦合到显示单元202。中枢250将系统200中的音频和视频信号从源204A-B路由至目的设备(例如,显示单元202)。在一个实施例中,中枢250通过输入信号和格式的自动检测控制音频和/或视频信号的切换和路由。例如,中枢250能够检测格式并将模拟视频输入和/或模拟音频输入转换成HDMI兼容的数字信号。根据本公开内容的实施例,视频中枢250具有使从视频源204A-B接收的图像和/视频中的不规则边缘平滑的能力。可经由硬件组件、软件组件和/或其组合/子组合来实现边缘平滑能力。进一步参考图4-5示出视频中枢250的组件的示例。图3描绘根据一个实施例通过光盘装置300示出的媒体播放器的框图,该媒体播放器具有使边缘平滑以去除可能存在的不规则的能力。媒体播放器(例如,光盘装置300)包括光盘读取器302、处理单元304、存储器306、解码器308和/或图像处理器350。在一些实施例中,任意上述模块/设备或其代表的功能可完全或部分地位于媒体播放器(例如,光盘装置300)的外部。在替换实施例中,对于除光盘装置外的媒体播放器,应意识到,光盘读取器302可被任意其它适当的媒体读取器替换而不背离本公开内容的新颖技术。其它类型的适当媒体读取器可按已知和/或方便的方式操作。光盘读取器302可以是软件代理和/或能够将光照射在光盘上、检测从光盘反射的光和/或将所检测的光转换成电信号的硬件组件的任意组合。光盘读取器302能够读取任意光盘,包括但不限于CD、DVD、HD-DVD、蓝光和HDV。兼容光盘还可以是只读存储器(ROM)、一次写入多次读取(WORM)、交互(I)和/或可擦(E)。在一个实施例中,光盘装置300包括耦合到光盘读取器302的存储器306。存储器306可以是用作光盘读取器302的数据输入/输出缓冲器的软件代理和/或硬件组件的任意组合。在一个实施例中,光盘装置300包括耦合到光盘读取器302和存储器306的解码器308。解码器308可以是具有与硬件解码器和视频/音频内容兼容的编解码器的软件代理和/或硬件组件的任意组合。解码器308可接收和解压数字视频和/或音频内容。作为示例而非限制,解码器308通常支持包括MPEG-2、H.264/AVC、SMPTExa0VC-1和H.263的编解码器。还可支持杜比数字(Dolbyxa0Digital)、DTS、线性PCM、杜比数字+(Dolbyxa0Digitalxa0Plus)、DTS-HD高分辨率音频、杜比TrueHD(Dolbyxa0TrueHD)以及DTS-HD主音频。光盘装置300的一个实施例包括耦合到光盘读取器302的处理单元304。在一些实例中,处理单元304耦合到存储器305和/或图像处理器350。处理单元304可以是能够执行光盘装置300所使用的指令的软件代理和/或硬件组件的任意组合。在一个实施例中,处理单元304处理内部和/或外部请求并执行必要的计算。处理单元304可与存储器406通信,该存储器406在一些实施例中存储可由处理单元304和/或图像处理器350执行的指令序列。光盘装置300的一个实施例包括图像处理器350。在一个实施例中,图像处理器耦合到存储器306。图像处理器350可以是能够执行图像、视频处理和/或数字音频处理的软件代理和/或硬件组件的任意组合。图像处理器350的一个实施例包括视频处理器。图像可以是照片、图画、视频帧、数字图像、动画。可从存储器306接收或检索内容。在一个实施例中,图像处理器350执行与图像或视频帧中的边缘检测和/或边缘中不规则的平滑有关的任务中的一些或全部。进一步参考图5示出图像处理器350的示例组件。将所检测的边缘沿边缘方向进行定向低通滤波,以使边缘中的不规则平滑。可呈现所得到的图像来代替原始图像。在一些实施例中,图像处理器350智能地合并经平滑的图像和原始图像以生成优化图像。例如,可从经平滑的图像获取边缘所处的图像部分,且可从原始图像获取无边缘或具有弱边缘的部分。参考图7-9的流程图进一步描述图像处理器350执行的用于边缘检测和/或平滑的示例过程。尽管关于光盘读取器描述以上给出的示例,但应意识到诸如与图像处理器执行的功能有关的方面之类的本公开内容的新颖方面适用于可以是媒体播放器或可以不是媒体播放器的设备,包括但不限于卫星、电缆或IPTV(DSL)机顶盒(例如,具有或不具有DVR功能)、便携媒体播放器(例如,iPOD、Zune等)和/或便携电话(例如,包括但不限于黑莓、iPhone等多功能电话)。另外,新颖功能还可实现在媒体坞站(例如,对于iPOD、Zune等)、基于因特网的媒体播放器(例如,视频点播因特网内容、苹果TV、Netflix、Vudu、Verismo等)、显示器(例如,TV、监视器等)、DVD记录器、具有视频输出的PC(例如,Hulu、YouTube等)、游戏控制台(例如,Xbox、PS3、Wii等)、AVR、交换机、数码摄像机和/或数码相机中。图4描绘根据一个实施例具有边缘平滑能力的系统400的框图。系统400包括处理单元404、存储器406、存储器控制器408、主接口410和/或图像处理器450。在一些实施例中,任意上述模块/设备或其代表的功能可完全或部分地位于系统400的外部。系统400一般能够接收并处理源于各种源的数字图像、数字视频和/或数字音频,所述各种源包括但不限于因特网内容(流送和/或本地存储的)、由数字成像设备(例如,摄像机、相机等)记录的内容、用户生成的内容、存储在存储介质(例如,VHS、磁介质或光介质)上的内容等。兼容类型的光介质格式可包括但不限于CD、DVD、HD-DVD、蓝光和HDV。兼容光盘还可以是只读存储器(ROM)、一次写入多次读取(WORM)、交互(I)和/或可擦(E)。系统400的一个实施例包括通过存储器控制器408和/或主接口410耦合到存储器406的处理单元404。处理单元404可以是能够执行系统400所使用的指令的软件代理和/或硬件组件的任意组合。可通过与存储器406通信来访问指令。在一个实施例中,处理单元404处理内部和/或外部请求并执行必要的计算。例如,处理单元404可接收打开/关闭盘驱动器的请求、读取盘驱动器的请求(例如,当用户点击播放时)、暂停回放的请求、停止读取盘驱动器的请求等,并且并将命令传递到适当模块以供执行。处理单元404可与存储器406通信,该存储器406在一些实施例中存储可由处理单元404和/或图像处理器450执行的指令序列。在一个实施例中,系统400包括耦合到图像处理器450和/或存储器控制器408的存储器406。存储器406可以是用作图像处理器450的数据输入/输出缓冲器的软件代理和/或硬件组件的任意组合。可从系统400内部和/或外部的任意实体接收存储器406中的数据。系统400的一个实施例包括耦合到存储器406和主接口410的存储器控制器408。存储器控制器408可以是能够从存储器406读取数据和/或向存储器406写入数据的软件代理和/或硬件组件的任意组合。存储器控制器408可基于从处理单元404或其它组件接收的命令关于存储器事务访问存储器406。具体地,存储器控制器408协调诸如外部视频、音频和/或图像源等各种内部和/或外部客户对存储器406的访问。在一个实施例中,系统400任选地包括耦合到存储器控制器408和/或处理单元404的主接口410。主接口410可以是能够通过处理单元404管理存储器访问的软件代理和/或硬件组件的任意组合。主接口410可通过处理单元404提供存储器406的性能访问。在一个实施例中,主接口410包括维护与处理单元404的存储器事务的高速缓存。高速缓存可以是小型、高速存储器,其存储最近使用的指令或之前从存储器406检索的数据。因为由处理单元404执行的程序一般重复地使用指令或数据的子集,所以高速缓存是维护处理单元404事务而无须总是利用存储器406的有效方法。系统400的一个实施例包括图像处理器450。在一个实施例中,图像处理器耦合到存储器406。图像处理器450可以是能够执行图像、视频处理和/或数字音频处理的软件代理和/或硬件组件的任意组合。图像处理器450的一个实施例包括视频处理器452和/或视频捕捉模块454。图像可以是照片、图片、视频帧、数字图像、动画。可从存储器406接收或检索内容。可由图像处理器450施加的处理包括作为示例而非限制的几何变换(例如,放大、成比例缩放、减小、旋转等)、颜色调节、亮度调节、对比度调节、量子化、转换成不同的色空间、数字合成、光合成、插值、混叠降低、滤波、图像编辑、图像配准、图像稳定化、图像分割等。在一个实施例中,图像处理器450执行与图像或视频帧中的边缘检测和/或边缘平滑有关的任务中的一些或全部。进一步参考图5示出图像处理器450的示例组件。将所检测的边缘沿边缘方向进行定向低通滤波,以使边缘中的不规则平滑。可呈现所得到的图像来代替原始图像。在一些实施例中,图像处理器450智能地合并经平滑的图像和原始图像以生成优化图像。例如,可从经平滑的图像获取边缘所处的图像部分,且可从原始图像获取无边缘或有弱边缘的部分。参考图7-9的流程图进一步描述图像处理器450执行的用于边缘检测和/或平滑的示例过程。图5描绘根据一个实施例具有边缘平滑能力的图像处理器550的框图。图像处理器550包括边缘检测器模块552、滤波器模块554、具有边缘平滑模块的混合模块、置信水平模块558和/或面元分配模块560。在一些实施例中,任意上述模块/设备或其代表的功能可完全或部分地位于图像处理器550的外部。图像处理器550的一个实施例包括边缘检测器模块552。边缘检测器模块552可以是能够检测数字图像和/或视频帧中的对象边缘的软件代理和/或硬件组件的任意组合。例如可经由修改的Sobel技术通过计算图像中的垂直和/或水平梯度来检测边缘。用于计算梯度值的梯度滤波器内核参数一般是在逐个情况的基础上可修改、可适应和可调节的。在一个实施例中,对图像进行低通滤波,以便在检测垂直和/或水平梯度之前去除或减少噪声和高频分量的影响。可通过滤波器模块554对图像进行低通滤波。在一个实施例中,边缘检测器模块552确定所检测的边缘的梯度大小。例如可通过计算水平和垂直梯度的平方和的平方根来从垂直梯度和水平梯度计算梯度大小。在一个实施例中,由梯度大小模块执行梯度大小计算。在某些实例中,结合梯度大小使用阈值以确定边缘强度。可基于预定区域中的动态范围为预定像素区(例如,3x3、5x5、3x5、10x10等)动态确定阈值。梯度大小和阈值的比较在一个实施例中得到指示边缘强度的介于0和1之间的值。结果越接近1,则边缘越强。将进一步参考图6A/B和图7描述与阈值确定和比较算法有关的附加细节。此外,边缘检测器模块552进一步确定边缘方向。可通过计算由垂直梯度和水平梯度形成的边缘角的正切来确定边缘方向。在一个实施例中,在计算边缘角的正切之前,可对水平和垂直梯度大小进行低通滤波以减少在边缘方向计算中不规则的影响。此外,例如可通过边缘检测器模块552对梯度向量的符号进行中值滤波以减少角边缘接近水平或垂直的区域中的噪声。图像处理器550的一个实施例包括2D低通滤波器模块554。滤波器模块554可以是能够将低通滤波器应用到图像或图像/视频的部分的软件代理和/或硬件组件的任意组合。可在执行图像处理前,例如,在执行边缘检测和/或平滑边缘中的不规则的过程之前,将低通滤波器应用到图像。在一个实施例中,在图像处理之前将高斯形滤波器施加到图像以去除或减少高频分量和噪声成分。在一个实施例中,边缘方向用于确定用于定向滤波的面元方向。进一步参考图6C的示例图示面元分配,且可通过与边缘检测器552通信的面元分配模块560确定面元分配。因为沿边缘方向的定向滤波器使用位于特定位置的像素值,所以每个像素的边缘角被约束(binned)到与图像中的物理向量对齐的几个预定面元方向。一旦已经进行定向滤波以平滑边缘,则边缘中的不规则被有效去除或相反在锯齿度/粗糙度方面降低。在一个实施例中,混合模块556可将具有平滑边缘的图像与原始图像混合来生成具有改进了视觉特性的平滑边缘的另一个图像。混合模块556的平滑模块可将定向滤波器基于所检测的边缘的方向施加到所检测的边缘用于边缘平滑,以去除可能存在的不规则。图像处理器550的一个实施例包括具有边缘平滑模块的混合模块556。边缘平滑模块可以是能够平滑边缘中的不规则的软件代理和/或硬件组件的任意组合。边缘平滑模块耦合到边缘检测器552和面元分配模块560,并与边缘检测器552和面元分配模块560通信以确定边缘的位置及其相关联的特性(例如,梯度大小和/或边缘方向)。图像处理器550的一个实施例包括置信水平模块558。置信水平模块558可以是能够确定或估计所检测的边缘的计算出的边缘方向(例如,由面元方向所指示的)的精确度的软件代理和/或硬件组件的任意组合。置信水平模块558耦合到面元分配模块560并与面元分配模块560通信以确定特定像素的面元值,并将该面元值与该特定像素周围的预定像素区(例如,3x3、5x5等)内的每个像素的面元值比较。在一个实施例中,可计算预定像素区中面元值的统计属性。该统计属性可用于基于其单独的面元值和及其与统计属性的比较将置信值分配给像素。因为数字图像/视频往往是不完美的,尽管像素驻留在边缘上,其特性可以有缺陷而不反映边缘的相同属性(例如,梯度大小和/或边缘方向)。可通过将像素相互比较来执行搜索以标识出现不规则的位置从而减轻这种影响。具体地,有利的是标识除几个像素之外的全部像素都具有相似或相同特性的区域。这几个像素可能是异常的且可能消极地影响边缘粗糙度平滑的定向滤波过程的结果。因此,在施加定向低通滤波器之前,可根据附近区域中大量像素的特性调节或修改几个像素的特性(例如,梯度大小、边缘方向和/或面元方向)。在一个实施例中,例如通过置信水平模块558确定与预定像素区域(例如,3x3、5x5、7x7等)中特定像素的边缘方向类似或相同的边缘方向的数量。一般而言,将较高的置信水平分配给具有类似或相同边缘方向的更多周围像素的像素,由此指示所计算的边缘方向的较高精确度。置信水平值和梯度大小比较的结果然后用于将原始图像和定向低通滤波图像混合。混合操作中使用的乘数是置信水平和梯度大小与基于动态范围的大小阈值的比较结果的产物。这导致主要(或完全)从经滤波的图像获取沿强边缘定位且具有高置信水平的像素。相反,主要(或完全)从原始图像获取不沿边缘或具有低置信水平的像素位置。尽管本公开内容的实施例被描述为由图像处理器执行,但可构想到本文的特征可体现在视频处理器/图形处理器内和/或经由视频处理器/图形处理器实现,而不背离本公开内容的新颖技术。例如还可通过诸如专用图形处理器的处理块或在通用处理器上的软件中执行类似或相同的图像处理功能。图6A是根据一个实施例如何确定梯度大小阈值的图示。图630示出在y轴上的所得阈值与x轴上预定像素区的动态范围度量的曲线。预定区域的动态范围是块中最大或近最大亮度值减去最小或近最小亮度值。在一些实例中,动态范围乘以增益值(例如,0.5)并描绘在x轴上,且乘法的结果绘制在y轴上。如图所示,如果步骤1的结果大于预定最大阈值或小于预定最小阈值,则将阈值分别设定为最大值或最小值。否则,阈值是动态范围乘以增益值。图6B是根据一个实施例如何确定经阈值大小处理的梯度的图示。图640示出y轴上的经阈值处理的梯度大小与绘制在x轴上的梯度大小的关系。如果梯度大小大于阈值加上窗口值,则将经阈值处理的梯度设定为1。如图6A所示可动态确定阈值。如果梯度大小小于阈值减去窗口值,则将经阈值处理的梯度设定为0。在一个实施例中,当前实现中使用的窗口值是10/255。在别的情况下,经阈值处理的梯度在两个边界值之间线性改变且可计算为:经阈值处理的梯度=(梯度大小-(阈值-窗口值))/(2x窗口)图6C描绘根据一个实施例位于所检测的边缘附近的图像像素和多个面元的图形表示。在图6C的示例中,视频场600包括多个已知像素610、面元分割线602和604以及所检测的边缘620。可利用任意已知和/或方便的技术检测边缘620,包括但不限于经由与边缘检测器模块(例如图5的边缘检测器模块)相关联或由其执行的过程和/或函数检测边缘620。如图6C的示例所示,所检测的边缘位于面元分割线602和604之间。如此,面元的上界是面元线602且下界是面元线604。穿过像素位置的每条虚线形成一组示例面元方向。面元方向可在视频场600的特定像素位置610上对齐。可利用任意已知和/或方便的技术计算面元。上界和下界之间包围的区域形成面元。在一个实施例中,面元边界是将像素与像素相连接的线之间的中心线。图7描绘根据一个实施例示出在图像中执行粗糙边缘平滑的示例过程的流程图。在过程702,将最初的低通滤波器任选地施加到图像。可在边缘检测之前施加低通滤波器以去除边缘附近的噪声和/或高频。在一个实施例中,使用高斯形滤波器且通常基于图像和其相关联的图像特性动态选择滤波器的参数。例如,经成比例缩放图像可比处于其原始分辨率的图像施加更多的滤波。在过程704,确定图像中边缘的存在。可根据经由例如修改的Sobel技术计算垂直和水平梯度来标识边缘。一般可基于将如何使用梯度值来选择梯度滤波器内核。例如,可将较大的滤波器内核(例如,5x5)用于梯度值来标识图像中的对象边缘,而将较小的滤波器内核(例如,3x3)用于生成梯度值以确定边缘方向。在过程706,确定梯度大小。可去除或减少所检测的边缘中的不规则,这进一步参考图8的示例过程示出。从垂直和水平梯度值,例如,利用垂直和水平梯度值的平方和的平方根,来计算梯度大小。在一个实施例中,通过与阈值比较来将梯度大小用于确定图像中对象边缘的位置。进一步参考图9的示例示出利用阈值的边缘检测过程。在过程708,从水平和垂直梯度大小确定边缘方向。对水平和/或垂直梯度任选地进行低通滤波以在确定边缘定向之前减少梯度大小中不规则的出现。例如,可对梯度向量的符号进行中值滤波以减少边缘接近水平或接近垂直的区域中的噪声。可从水平和垂直梯度或经滤波的梯度计算边缘角的正切以确定边缘方向。在过程710,将面元方向分配给边缘方向,因为沿边缘方向的低通滤波使用处在特定方向上的像素值。进一步参照图6C的示例图示面元分配过程。可使用少量的面元,以减少对使用远端像素位置的滤波器的需要。在一个实施例中,任选地处理面元方向值,以去除或减少与周围像素值不同的边缘角的隔离实例的数量。通过将每个像素的面元方向与相邻相邻的面元方向作比较,可去除或减少面元方向上的不规则。例如,如果特定像素位置左边和右边或上方和下方的像素具有相同的面元方向,则可将像素的面元值设定为匹配相邻像素的面元值。在过程712,将置信水平分配给与所确定的边缘角的精确度对应的边缘上的像素。可基于特定像素周围的预定区域中具有相同或相似边缘方向的像素数量来计算置信水平。一般而言,周围区域中较大数量的类似方向得到较高的置信,反之亦然。在过程714,将低通滤波器沿面元方向施加到边缘的每个像素以基于图像生成第二图像。基于确定的面元方向对图像中位于边缘的每个像素执行该过程,由此使边缘不规则平滑。在过程716,基于第二图像(例如,经定向低通滤波的图像)和第一图像(例如,原始图像)生成第三图像。在一个实施例中,混合操作中使用的乘数是置信水平和梯度大小与基于动态范围的大小阈值的比较结果的产物。这导致主要(或完全)从经滤波的图像获取沿强边缘定位且具有高置信水平的像素。相反,主要(或完全)从原始图像获取不沿边缘或具有低置信水平的像素位置。取决于图像,可交替前平滑和后平滑或将其结合使用以得到最优结果。例如,较高质量/分辨率的源图像一般不具有粗糙或锯齿边缘,因此在源图像的原始分辨率下从边缘平滑获益最少。然而,对于较低质量/分辨率的图像,在后续处理之前,具体是在将原始图像按比例缩放至较高分辨率之前,对图像进行边缘平滑是有用的。在低分辨率图像(例如,720x480或更低)至高分辨率图像的按比例放大操作之后,可对经按比例缩放的图像进行边缘平滑以降低来自源图像的分辨率限制的可见性。在很多情况下,可使用前平滑和后平滑两者以优化图像质量。例如,如果按比例缩放率近似或大于3x,则通常所得的按比例放大图像从边缘平滑中受益。一般而言,按比例放大小于2x的图像可能仅或多或少地受益。然而,一般而言,对于图像的有限按比例放大,前平滑可得到充分好的结果。类似地,对于高质量/分辨率源图像(例如,近似或超过1080p),仅需要后平滑。图8描绘根据一个实施例示出去除所检测的边缘中的不规则的示例过程的流程图。在过程802,将所检测的边缘上的特定像素的梯度大小与相邻或周围像素的梯度大小进行比较。相邻(例如,周围)像素可位于特定像素的左、右、顶和/底部。在过程804,当特定像素值小于相邻像素时可确定边缘上存在不规则。在过程806,去除不规则。在一个实施例中,通过改变与相邻或周围像素不同的像素的阈值大小值来去除不规则。例如,可将阈值大小改变为周围像素的阈值的最大值。图9描绘根据一个实施例示出基于动态确定的梯度大小阈值确定像素是否位于边缘上的示例过程的流程图。在过程902,动态确定梯度大小阈值。在一个实施例中,基于例如3x5像素区的区域中的动态范围基于图像的预定区域中的一组像素值动态确定阈值。在过程904,像素的梯度大小与阈值进行比较。比较的结果可量化在0和1之间的比例上,其中较高的值指示像素更接近强边缘且较低的值指示像素远离强边缘。零值一般指示像素不位于对象边缘上。为了生成在0和1之间的比例上的比较结果,将预定区域中的动态范围乘以增益因子(例如0.5的值)。如果乘法的结果大于预定最大阈值或小于预定最小阈值,则将阈值分别设定为预定最大值或最小值。否则,将阈值设定为增益因子与动态范围相乘的结果。进一步参照图6A的示例图示阈值计算过程。在一个实施例中,所使用的预定最大值和最小值是55/255和15/255。在将梯度大小与阈值进行比较以生成经阈值处理的梯度时,出于比较的目的使用了阈值周围的窗口以确定像素是否位于边缘上,如过程906。在一个实施例中,如果梯度大小大于阈值加上窗口值,则将阈值梯度设定为1。如果梯度大小小于阈值减去窗口值,则将阈值梯度设定为0。中间值在阈值加上窗口值和阈值减去窗口值之间线性变化。进一步参照图6B的示例图示该过程。在一个实施例中,该窗口值是10/255。贯穿说明书及所附权利要求书,除非上下文明确需要其他,否则单词“包括”等应以包含的意义来解释,与排他或穷尽的意义相反;即为“包括,但不限于”的意义。如本文中所使用的,术语“连接”、“耦合”或其变形表示两个或多个元件之间直接或间接的任何连接或耦合;元件之间连接的耦合可以是物理、逻辑或其组合。另外,单词“在此处”、“以上”、“以下”及类似意思的单词在本申请中使用时应将本申请作为一个整体引用而不是引用本申请的任何特定部分。在上下文允许的情况下,以上的详细描述中使用单数或复数的单词也可分别包括复数或单数。在参考列出的两个或多个项时单词“或”覆盖该单词的所有以下解释:列出的任意项,列出的所有项以及列出的项的任意组合。本公开内容的实施例的以上详细描述不旨在穷尽或将教示限制为以上公开的精确形式。尽管本公开内容的特定实施例和示例在本文中以示例目的给出,然而在本公开内容的范围内可作出许多等价修改,如本领域内技术人员所能理解的那样。例如,尽管过程或块以给定顺序出现,但备选实施例可执行具有不同顺序的步骤的例程或采用具有不同顺序的块的系统,并且可删除、移动、添加、细分、组合和/或修改一些过程或块以提供选择或子组合。这些过程或块中的每个可按各种不同方式实现。而且,尽管过程或块有时示为顺序地执行,但这些过程或块相反可并列执行或者可在不同的时间执行。另外,本文指出的任何特定数字仅仅是示例:备选实现可采用不同的值或范围。本文提供的公开内容的教示可应用到其它系统,不一定是上述系统。上述各实施例的元件和动作可组合以提供其它实施例。以上指出的任何专利和申请及其它参考文献——包括所附提交文件中列出的那些——通过引用结合于此。如果需要的话可修改公开内容的各方面以利用以上描述的各参考文献的系统、功能和概念以提供该公开内容的又一些实施例。可鉴于以上的详细描述对本公开内容作出这些或其它改变。尽管以上描述对本公开内容的某些实施例进行描述,且描述了构想到的最佳模式,但无论正文中出现的以上内容多么详细,教示能以很多种方式实践。系统的细节可在其实现细节方面显著改变,同时仍由本文公开的主题所包括。如上所指出的,在描述公开内容的某些特征或方面时使用的特定术语不应被理解为表示该术语在本文中重新定义为限于与该术语相关联的本公开内容的任何特定特性、特征或方面。一般而言,以下权利要求中所使用的术语应被解释为将本公开内容限于说明书中公开的特定实施例,除非以上详细描述部分明确定义这类术语。因此,公开内容的实际范围不仅包括所公开的实施例,还包括按照权利要求书实践或实现公开内容的所有等价方式。尽管以下按某些权利要求书形式给出公开内容的某些方面,但发明人构想到按照任意数量的权利要求书形式的公开内容的各方面。例如,尽管按照35U.S.C.§112,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="69"/>仅本公开内容的一个方面表述为装置加功能权利要求,但其它方面也可具体化为装置加功能权利要求或其他形式,诸如具体化为计算机可读介质。(旨在按照35U.S.C.§112,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="53"/>处理的任何权利要求将以单词“用于...的装置”开始。)因此申请人保留在提交申请后增加附加权利要求的权利以寻求公开内容的其它方面的这种附加权利要求形式。